Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It
工具调用进度自报：Agent 服务系统应读取而非猜测
🧭 Agent 工具调用 · KV cache 调度
Tsinghua University · Alibaba Cloud Computing · Zhejiang University
让工具调用上报剩余进度，比预估算更准，可将 p90 TTFT 降低约 20%
📌 工作参考价值（4 点）
- 在电商/搜索 Agent 中，对长耗时工具（SQL 查询、库存 API、商品爬虫、订单处理）增加 progress 上报字段，如剩余比例或“即将完成”信号，服务层可用它做 KV cache 驱逐/恢复决策，而不是靠工具名或历史均值猜时长。
- 工程实现上，progress 信号通过 harness 旁路采集，不改变 Agent 可见的输入输出，对 benchmark 分数无损耗；这可以直接迁移到现有多 Agent 编排框架，无需修改模型 prompt。
- 在推理引擎侧，把工具 progress 作为轻量 hint 接入 KV cache 管理，作者在 LRU 上仅做小改动就接近 oracle，说明该信号比复杂预估器更有投产价值；如果业务受 TTFT p90 波动困扰，可优先采工具真实进度而非加预测模型。
- 进度信号在环境变化时仍然准确，适合电商大促、突发流量等场景；对多租户 GPU 资源调度，长工具调用按真实剩余时间释放/保留缓存，能提升 HBM 利用率。